Expectation(기대값)

X

가 계속해서 수천 번, 수만 번 반복 시행되었을 때, 무한히 반복하게 된 후에

X

가 취할 것이라고 예상되는 값, 혹은 평균. 동시에 MSE를 제일 작게 하는 값이다.

Expectation of variable $X$ :

E [X] or μ

Discrete of Random Variable $X$ : $E [X] = t \sum x P (x)$ , PMF
Continuous of Random Variable $X$ : $E [X] = \int_{- \infty}^{\infty} x P (x) d x$ , PDF

$P (x)$ 는 확률이고, $x$ 는 취하는 값이다. 이 때 확률이 작을 수록 $x$ 를 취할 확률이 적을 테니 $x$ 에 이를 곱해 모두 더하면 평균 혹은 기댓값이 나올 것이라 볼 수 있다.

Property of Expectation

Independence

X

and

Y

are independent each other ⇒

E [X Y] = E [X] E [Y]

독립이라는 말은, 서로 상관관계가 없음을 의미한다.

Proof

두 확률변수가 독립이므로 marginal PDF의 곱으로 나타낼 수 있고, LOTUS에 의하여

E [X Y] = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x y f_{X} (x) f_{Y} (y) d x d y = \int_{- \infty}^{\infty} y f_{Y} (y) \int_{- \infty}^{\infty} x f_{X} (x) d x d y = \int_{- \infty}^{\infty} y f_{Y} (y) E [X] d y = E [X] E [Y]

Linearity of Expectation

Random Variable의 Independence와 상관 없이 성립하는 성질이다.

E [a X + bY + c] = a E [X] + b E [Y] + c

or E [j = 1 \sum n X_{j}] = j = 1 \sum n E [X_{j}]

중요한 것은 독립성과 무관하다는 것이며, 이는 Binomial Random Variable이 Indicator Random Variable로 쪼개질 수 있음을 생각할 때 이의 기대값 계산에 효율적이다.

혹은, 각 확률 변수가 독립적이지 않은 Hypergeometric Distribution에 대해서도 적용될 수 있으므로 이의 기대값 계산에도 효율적이다.

Proof

$T = X + Y$ 의 의미는, T의 치역 $t$ 에 대해 $X, Y$ 의 치역 $x, y$ 가 $t = x + y$ 를 만족하도록 하는 모든 $(x, y)$ 의 조합을 말한다.
$T = X + Y$ 라고 할 때, $E [T] = t \sum t (x \sum P (T = t ∣ X = x) P (X = x))$ 가 Law of Total Probability에 의해 성립한다.
$t = x + y$ 이므로, $X = x, T = t$ 로 결정되면 $Y = t - x$ 로 결정된다. $t$ 에 대해서 전부 더하겠다고 해도, $t = x + y$ 를 만족하지 않는 값의 $t$ 에 대해서는 확률이 0이므로 이는 결국 $E [T] = y \sum x \sum (x + y) (P (Y = t - x = y ∣ X = x) P (X = x)) = y \sum x \sum (x + y) P (y, x)$ 와 같다.
$s \in S$ 라는, $t = x + y$ 를 만족하는 $s = (x, y)$ 집합에 대해 위 식은 $s \sum (X (s) + Y (s)) P (s) = s \sum (X (s) P (s) + Y (s) P (s)) = E [X] + E [Y]$ 과 같다.

주의점

기대값의 선형성은, linearity한 연산에만 적용된다. 즉,

E [g (X)] = g (E [X])

라고 단정 지을 수 없다. 물론 경우에 따라, 위 식이 성립하기도 한다.

이는 Jensen's Inquality의 일부라 할 수 있다.

Contidional Expectation

이 때, 어떠한 조건 아래 계산되는 기대값을 정의할 수도 있다.

$E_{Z ∣ D, θ} [P (D, Z ∣ θ)] = z \sum P (D, Z ∣ θ) P (X)$ : Discrete Random variable이라고 할 때, 이는 $D, θ$ 라는 조건부 분포 하에서 $Z$ 의 분포에 대한 기대 하에서, parameter $θ$ 에 대해 $D$ 와 $Z$ 의 공동 확률을 계산함을 의미한다.

Sample mean

모집단에서 표본의 평균.

여기서 중요한 건, Sample mean은 기대값과 달리 확률 변수라는 것이다. 당연히 Sample mean에도 expectation을 취할 수 있고, 그 값은 모 평균 자체가 된다. 어찌 보면 논리적으로 당연하다.